Đầu thập niên 1950, hãng hàng không Aeroflot của Liên Xô rất cần có một loại máy bay chở khách hiện đại mới với sức chứa và tính năng thao diễn tốt hơn bất kỳ một loại máy bay nào khác họ đang sở hữu. Yêu cầu thiết kế đã được Phòng thiết kế Tupolev đáp ứng, dựa trên kiểu máy bay ném bom chiến lược Tu-16 'Badger' của họ. Cánh, động cơ, và các bề mặt đuôi chiếc Tu-16 vẫn được giữ lại trên chiếc máy bay chở khách, nhưng bản thiết kế mới có thân điều áp lớn hơn với sức chứa lên tới 50 hành khách. Chuyến bay đầu tiên của chiếc Tu-104 sản xuất hàng loạt diễn ra ngày tháng 11 năm 1955 tại nhà máy Kharkiv ở Ukraina.

Tới khi việc sản xuất hàng loạt chấm dứt năm 1960, khoảng 200 chiếc đã được chế tạo. Mãi tới năm 1981 Aeroflot mới cho những chiếc Tu-104 của họ ngừng hoạt động. CSA Czechoslovak Airlines, hãng hàng không quốc gia Czechoslovak, đã mua một số chiếc Tu-104A với sức chứa 81 hành khách.

Sau khi ngừng hoạt động dân sự, nhiều chiếc máy bay đã được chuyển giao cho quân đội Xô viết để sử dụng vận chuyển nhân sự và huấn luyện các nhà du hành vũ trụ trong điều kiện không trọng lượng.